我们使用深度学习方法解读神经活动的能力可能会受益于更大的规模,无论是模型大小还是数据集。然而,将许多神经记录整合到一个统一的模型中是一项挑战,因为每个记录都包含来自不同个体动物的不同神经元的活动。在本文中,我们介绍了一个训练框架和架构,旨在模拟跨各种大规模神经记录的神经活动群体动态。我们的方法首先对数据集内的各个尖峰进行标记,以构建神经事件的有效表示,从而捕捉神经活动的精细时间结构。然后,我们使用交叉注意和 PerceiverIO 主干进一步构建神经群体活动的潜在标记。利用这种架构和训练框架,我们构建了一个大规模多会话模型,该模型在来自七种非人类灵长类动物的大型数据集上进行训练,涵盖超过 158 个不同的会话记录,来自超过 27,373 个神经单元和超过 100 小时的记录。在一系列不同的任务中,我们证明了我们的预训练模型可以快速适应新的、未见过的、具有未指定神经元对应的会话,从而以最少的标签实现少量样本的性能。这项工作提出了一种强大的新方法来构建深度学习工具来分析神经数据,并为大规模训练指明了一条清晰的道路。
主要关键词